In documenten is er reeds sprake van het kasteel Pecsteen in 1724 als een speelhuys met als eigenaar Charles Martin de Cuyper, advocaat in de Raad van Vlaanderen, en Anna-Françoise van Waesberghe.
In 1758 wordt het domein verkocht aan J. Andri, die het in 1783 doorverkoopt aan Charles-Jean Dhont. Door huwelijk komt het kasteel, in 1800, in handen van Jacques-Philippe Pecsteen, van 1813 tot 1830 burgemeester van Ruddervoorde.
In 1877 werd het grotendeels door brand vernietigd en verscheen er een nieuw kasteel. Het kasteel Pecsteen werd in 1905 grondig verbouwd in fraaie neorenaissance stijl, op funderingen van het oude kasteel, door de Oost-Vlaamse architect Stephan Mortier, ontwerper van talrijke openbare gebouwen, bij voorkeur neogotiek. Tijdens de Eerste Wereldoorlog dient het kasteel naar verluidt als onderkomen van de Duitse kroonprins. Vanaf 1800 tot heden is het kasteeldomein onafgebroken in handen van de familie Pecsteen.